MFS:MooseFS是一個具有冗余容錯功能的分布式網絡文件系統,具有高可靠性,高可擴展性,高可容錯性和高數據一致性
應用場景:
1、大規模高并發的線上數據存儲及訪問(不論大文件還是小文件)
2、大規模的數據處理,如日志分析、小文件強調性能不用HDFS
二、組件
管理服務器 managing server,簡稱master:它是管理整個mfs文件系統的主服務器,出了分發用戶請求外,還用來存儲整個文件系統的metadata信息,包括目錄、socket管道、塊設備等的大小、屬性、文件路徑等內容
元數據備份服務器 metadata backup server,簡稱metalogger:此組件作用是備份管理服務器master的metadata信息日志文件,文件類型為changelog_ml.*.mfs,用于在管理服務器出現問題時,可以經過簡單的操作讓新的主服務器進行工作
數據存儲服務器 data server(chunk server),簡稱data:該組件是存放數據文件的實體服務器,可以由多臺不同的物理服務器或不同的磁盤充當,當配置數據的副本多余一份時,或數據寫入到另一臺數據服務器后,會根據算法在其他數據服務器進行同步備份
客戶機服務器組 client server,簡稱client:此組件是用于掛載使用mfs文件系統的客戶端,當讀寫文件時,客戶端會連接到主管理服務器獲取數據的metadata信息,然后根據得到的元數據信息訪問數據服務器讀取或寫入文件實體,mfs客戶端通過fuse機制實現掛載mfs文件系統的目的。因此,只要系統支持fuse,就可以作為客戶端訪問mfs整個文件系統
三、安裝使用
實驗環境:
|IP|備注|
|–|--|
| 192.168.43.200 | master節點 |
| 192.168.43.201 | Metalogger節點 |
| 192.168.43.202 | chunk server節點1 |
| 192.168.43.203 | chunk server節點2 |
| 192.168.43.204 | client節點 |
-
前期準備
準備yum源,以centos7為例curl "https://ppa.moosefs.com/RPM-GPG-KEY-MooseFS" > /etc/pki/rpm-gpg/RPM-GPG-KEY-MooseFS
curl "http://ppa.moosefs.com/MooseFS-3-el7.repo" > /etc/yum.repos.d/MooseFS.repo2.
Master主節點
安裝主程序
yum install moosefs-master moosefs-cgi moosefs-cgiserv moosefs-cli
修改解析
/etc/hosts
192.168.43.200 mfsmaster
啟動服務
?
systemctl start moosefs-master
systemctl start moosefs-cgiserv-
訪問http://192.168.43.20:9425,出現則表示主節點部署完成
-
元數據節點Metaloger Server部署
安裝軟件yum install -y moosefs-metalogger
修改解析/etc/hosts
192.168.43.200 ? mfsmaster
啟動服務
systemctl start moosefs-metalogger
-
存儲服務器chunk server部署
存儲節點1:
安裝軟件包yum install -y moosefs-chunkserver
修改解析/etc/hosts
bash 192.168.43.200 mfsmaster
配置數據目錄bash mkdir /mnt/chunk1 chown mfs.mfs /mnt/chunk1 #存儲是mfs的塊文件 echo '/mnt/chunk1'>> /etc/mfs/mfshdd.cfg #定義mfs共享點
啟動服務bash systemctl start moosefs-chunkserver
存儲節點2:
安裝軟件包yum install -y moosefs-chunkserver
修改解析/etc/hosts
bash 192.168.43.200 mfsmaster
配置數據目錄bash mkdir /mnt/chunk2 chown mfs.mfs /mnt/chunk2 #存儲是mfs的塊文件 echo '/mnt/chunk2'>> /etc/mfs/mfshdd.cfg #定義mfs共享點
啟動服務bash systemctl start moosefs-chunkserver
驗證 -
client客戶端部署
安裝軟件包yum install -y moosefs-client
修改解析/etc/hosts
192.168.43.200 ? mfsmaster
定義客戶端默認掛載
vi /etc/mfs/mfsmount.cfg
mfsmaster=mfsmaster # 掛載地址
/mnt/mfs # 掛載目錄?
-
-